東芝と理化学研究所（理研）は学習済みの人工知能（AI）を、できるだけ性能を落とさず、演算量が異なるさまざまなシステムに展開できるスケーラブルAIを開発した。
この技術を画像中の被写体分類に用いたところ、演算量を三分の一に削減した場合でも、分類精度の低下を従来のスケーラブルAIの3.9％から2.1％に抑えることができ、世界トップレベルの分類性能を達成したという。
この技術を導入することで、例えば大規模で高性能な人物検出AIを一度学習すれば、スマートフォンや監視カメラ、無人搬送車（Automatic Guided Vehicle : AGV）といった適用環境ごとの試行錯誤が不要となる。
スケーラブルAIの効果（出典：東芝、理研）
また、異なる適用先に対してAIエンジンを共通化することが可能となり、AIエンジンの開発に必要なリードタイムの削減や管理の効率化が期待できる。大規模なAIを学習する時に、演算量と性能の関係が明らかになり、適用するプロセッサーなどの選択も容易となる。
開発した技術は、元となるフルサイズの深層ニューラルネットワーク（フルサイズDNN）において、各層の重みを表す行列をなるべく誤差が出ないように近似した小さな行列に分解して、演算量を削減したコンパクトDNNを用いる。
コンパクトDNNを作る際、従来技術では単純に全ての層で行列の一部を一律に削除して演算量を削減するが、開発した技術では重要な情報が多い層の行列をできるだけ残しながら演算量を削減することで、近似による誤差を低減する。
学習中は、さまざまな演算量の大きさにしたコンパクトDNNとフルサイズDNNからのそれぞれの出力値と、正解との差が小さくなるようにフルサイズDNNの重みを更新する。これにより、あらゆる演算量の大きさでバランスよく学習する効果が期待できる。学習後は、フルサイズDNNを各適用先で求められる演算量の大きさに近似して展開することができる。
同技術の特徴（出典：東芝、理研）
近年AIは、音声認識や機械翻訳をはじめ、自動運転向けの画像認識まで、さまざまな用途で活用されている。
例えば、カメラ画像から人物検出を行うAIは、スマートフォンやスタンドアローン型の監視カメラに加え、AGVなどで使用されている。利用するシステムごとにプロセッサーの能力が異なるほか、AGVのように近くの人との衝突を避けるために、高精度に位置を把握する必要があるものもある。
これに対し現状は、人手で演算量と必要な精度のバランスを試行錯誤しながら、システムごとにAIを一から開発・学習しているが、開発期間やコストがかかるとともに、利用するシステムごとに異なるAIが開発されて管理が煩雑化するため、スケールメリットを出すことが困難だという。
